13. 一种解决方案

09 一种解决方案 V2

model.eval()

上述代码丢失了 model.eval()

model.eval() 会将模型里的所有层级设置为评估模式。这样会影响到丢弃层等层级,但会允许所有节点接受评估。丢弃层是指在训练期间按照某个概率关闭节点的层级。在测试或验证模型之前,应该将模型设为评估模式,并且仅在训练循环期间将模型设为 model.train()(训练模式)。

这一点体现在了之前的 notebook 代码和此 Github 代码库中。

扩展阅读

  • 该研究论文首次提出将丢弃层作为防过拟合技巧。
  • 若要深入了解激活函数,请参阅此网站